本发明提供一种自主定位智能点胶系统,包括相机(1)、支架(2)、X轴导轨(3)、Y轴导轨(4)、Z轴导轨(5)、导轨电机控制器(6)、光学平台(7)、底座(8)、机头备板(9)、胶筒(10)、点胶头(11)和计算机(12)。计算机(12)基于机器视觉和图像测量的数据处理过程控制点胶操作,处理相机拍摄的图像并结合设计图形数据,自动识别点胶位置,向导轨电机控制器(6)发出指令,控制导轨运行到指定的位置进行点胶操作。本发明提高了点胶工作的智能化程度,提高了工作效率,点胶工作幅面大,点胶形状更加规范,系统结构组成比较简单,自动化程度较高,便于推广应用。
1.一种自主定位智能点胶系统,所述自主定位智能点胶系统包括相机(1)、支架(2)、X轴导轨(3)、Y轴导轨(4)、Z轴导轨(5)、导轨电机控制器(6)、光学平台(7)、底座(8)、机头备板(9)、胶筒(10)、点胶头(11)和计算机(12),在底座(8)的上方安装光学平台(7),在光学平台(7)的长边位置安装X轴导轨(3),在短边位置处位于X轴导轨(3)上方安装Y轴导轨(4),在Y轴导轨(4)上安装Z轴导轨(5),三个导轨的方向相互垂直,在Z轴导轨(5)上固定机头备板(9),机头备板(9)上固定胶筒(10)和点胶头(11);在底座(8)边上固定着支架(2),支架(2)顶部安装相机(1),相机(1)位置处于光学平台(7)的正上方,在底座(8)内部放置导轨电机控制器(6),导轨电机控制器(6)、相机(1)分别连接计算机(12);相机(1)光轴与光学平台(7)表面垂直,视场覆盖光学平台(7),相机(1)通过USB数据线穿过支架(2)内部和底座(8)内部连接计算机(12);计算机(12)执行基于机器视觉和图像测量的数据处理过程控制点胶操作,包括以下步骤,步骤1,读取设计图形,提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标;所述外轮廓确定待点胶的片状物体的形状,所述内轮廓表示片状物体上芯片的位置;步骤2,确定图像坐标系到相机坐标系的转换关系,计算出相机坐标系到点胶机坐标系的转换关系,从相机获取待点胶的片状物体的图像,对其进行阈值分割,提取出芯片;步骤3,提取出图像中外轮廓上的端点位置,计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量,内轮廓端点为芯片端点,结合设计图形中芯片上端点在设计图形坐标系下的设计坐标,提取出芯片端点的点胶位置;步骤4,在每个芯片边缘位置上,搜索导线的起始点,并以在8领域范围搜索灰度值最低的相邻像素作为导线像素,直到搜索到另一个芯片位置上结束,得到每条导线的图像位置,并提取出每条导线上的点胶位置;步骤5,将点胶位置数据传给导轨电机控制器,控制导轨运行到指定位置完成点胶操作;其特征在于:步骤1中,提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标,实现方式包括以下步骤,步骤1.1,导入设计图形的文件,读取直线、圆弧、多段线和圆这4种图元数据,及图形边界的数据;步骤1.2,若有圆或者闭合的多段线处于图形边界上,则该圆或闭合的多段线为外轮廓,转入步骤1.4;否则,外轮廓是由直线、圆弧和多段线组合而成,进入步骤1.3;步骤1.3,从直线、圆弧、和多段线的图元数据中寻找出一条图元处于图形边界上,以该条图元为外轮廓图元,其两个端点为外轮廓端点,在剩余图元中搜索,若某条图元的端点与外轮廓端点重合,则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点,按此不断搜索,直到得到一个闭合的外轮廓;步骤1.4,在得到外轮廓后,从剩余的图元中提取内轮廓;若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元,则这些圆或闭合的多段线,独自构成内轮廓;去除这些圆或闭合多段线图元后,在剩余的图元中,内轮廓是由多个图元组成,取其中一条图元记为内轮廓图元,端点为内轮廓端点,在剩余图元中搜索,若某条图元的端点与内轮廓端点重合,该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点,以此类推,直到得到一个闭合的内轮廓,按此提取出所有的内轮廓位置。
2.根据权利要求1所述的自主定位智能点胶系统,其特征在于:步骤2中,计算出相机坐标系到点胶机坐标系的转换关系实现方式为,拍摄已知点胶位置坐标的胶点的图像,计算出胶点在相机坐标系下的坐标,然后用最小二乘法计算出这些胶点从相机坐标系到点胶机坐标系的平移和旋转变换的矩阵参数。
3.根据权利要求1所述的自主定位智能点胶系统,其特征在于:步骤3中,提取出图像中外轮廓上的端点位置,实现方式包括以下步骤,步骤3.11,在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元,在图像的相同方向上搜索到该条边界,然后开一个窗口将该边界包含进来;步骤3.12,对步骤3.11所得窗口内的图像用Canny算子提取边缘,包括用圆形模板在边缘上移动,搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置,得到端点位置;步骤3.13,提取步骤3.12所得两个端点对应设计坐标,任取其中一端点记为P₁,另一端点记为P₂,设P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1),P₂的图像坐标为(x_e2,y_e2),设计坐标为(X_e2,Y_e2),P₁到P₂的连线与x轴在图像坐标系下的夹角为α₁₂",P₁到P₂的连线与X轴在设计图形坐标系下的夹角为β₁₂,片状物体的图像相对于点(x_e1,y_e1)与设计图形位置比较,旋转的角度近似为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="70"/>则 θ ~ = α 12 ′ - β 12 - - - ( 1 ) ]]> α 12 ′ = arctan y e 2 - y e 1 x e 2 - x e 1 - - - ( 2 ) ]]> β 12 = arctan Y e 2 - Y e 1 X e 2 - X e 1 - - - ( 3 ) ]]>步骤3.14,计算出剩余外轮廓端点在图像中的大概位置,记外轮廓其它端点为P_i,i=2,3,...W,W为外轮廓端点的个数,P_i的图像坐标为(x_ei,y_ei),在图像中的大概位置采用近似图像坐标记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="203"/>设计坐标为(X_ei,Y_ei),端点P₁到P_i的设计图形中的距离为L_1i,P₁到P_i的连线与X轴在设计图形坐标系下的夹角为β_1i,则 x ei ~ = tL 1 i cos ( β 1 i + θ ~ ) + x e 1 - - - ( 4 ) ]]> y ei ~ = tL 1 i sin ( β 1 i + θ ~ ) + y e 1 - - - ( 5 ) ]]> L 1 i = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 6 ) ]]>式(4)(5)中,t为图像距离与对应实际距离的比例系数;步骤3.15,在近似图像坐标ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="170"/>附近开个窗口,对窗口内图像用Canny算子提取边缘,在边缘上移动一个半径为R的圆形模板,将该圆形模板与二值化后图像的重叠面积最小的位置定为端点P_i的图像坐标(x_ei,y_ei)。
4.根据权利要求3所述的自主定位智能点胶系统,其特征在于:步骤3中,计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量,实现方式如下,以端点P₁为基准点,计算出其它每个端点P_i与P₁的连线相对于设计图形中相应连线的旋转量θ_1i,i=2,3,...W,W为外轮廓端点的个数,再计算加权平均值得到最终角度旋转量θ,则 θ = Σ i = 2 W θ 1 i q ( i ) Σ i = 2 W q ( i ) - - - ( 7 ) ]]>θ_1i=α_1i-β_1ixa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(8) q ( i ) = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 9 ) ]]>式(8)中,α_1i为P₁到P_i的连线与x轴在图像坐标系下的夹角,β_1i为P₁到P_i的连线与X轴在设计图形坐标系下的夹角;式(7)(9)中,q(i)为端点P_i的权值,i=2,3,...W,W为外轮廓端点的个数。
5.根据权利要求4所述的自主定位智能点胶系统,其特征在于:步骤3中,结合设计图形中芯片端点在设计图形坐标系下的设计坐标的坐标数据,提取出芯片端点的实际位置,实现方式如下,记芯片上的端点为Q_j,j=1,2,...U,U为芯片端点个数,Q_j图像坐标为(x_hj,y_hj),近似图像坐标为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="207"/>设计坐标为(X_hj,Y_hj),P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1),点P₁到Q_j的设计图形坐标系下的距离为D_1j,γ_1j为P₁到芯片上端点Q_j的连线与X轴在设计图形坐标系下的夹角,片状物体摆放实际位置相对于设计图形的旋转量为θ,则 x hj ~ = tD 1 j cos ( γ 1 j + θ ) + x e 1 - - - ( 10 ) ]]> y hj ~ = tD 1 j sin ( γ 1 j + θ ) + y e 1 - - - ( 11 ) ]]> D 1 j = ( X e 1 - X hj ) 2 + ( Y e 1 - Y hj ) 2 - - - ( 12 ) ]]>式(10)(11)中,t为图像距离与对应实际距离的比例系数;在近似图像坐标ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="179"/>附近开个窗口,对窗口内的图像用Canny算子提取边缘,用一个半径为R的圆形模板在边缘上移动,将圆形模板与二值化后图像的重叠面积最小的地方定为端点Q_j的图像坐标(x_hj,y_hj),并将图像坐标(x_hj,y_hj)转换到点胶机坐标系下,得到芯片上端点Q_j的实际点胶位置坐标,记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="227"/>
6.根据权利要求1或2或3或4或5所述的自主定位智能点胶系统,其特征在于:步骤4中,在每个芯片边缘位置上搜索导线的起始点的实现方式为,芯片每条边上的像素灰度值的方差,当高于预设数值K时,则这条边上连接有导线,导线的起始点位置是灰度值最小的像素位置处。
7.根据权利要求1或2或3或4或5所述的自主定位智能点胶系统,其特征在于:步骤4中,在8领域范围搜索灰度值最低的相邻像素作为导线像素,直到搜索到另一个芯片位置上结束,所采取的策略如下,(1)从导线的起始点位置搜索导线像素,导线像素是取待选像素中灰度值最低的像素;(2)待选像素由导线方向确定,若当前导线像素的坐标为(x,y),当导线方向为(Δx,0),则待选像素坐标为(x+Δx,y-1)、(x+Δx,y)和(x+Δx,y+1);当导线方向为(0,Δy),则待选像素坐标为(x-1,y+Δy)、(x,y+Δy)和(x+1,y+Δy);当导线方向为(Δx,Δy),则待选像素坐标为(x+Δx,y+Δy)、(x+Δx,y)和(x,y+Δy);(3)每搜索到下一个导线像素,需要在该像素开一个大小为b×b的窗口,计算窗口内最大灰度与最小灰度之差,当低于预设数值H时,停止搜索,b为预设数值;(4)搜索到芯片边缘位置,停止搜索。
8.根据权利要求1或2或3或4或5所述的自主定位智能点胶系统,其特征在于:步骤4中,得到每条导线的图像位置后,在导线上取导线起点、终点以及等间距位置的点,并转换为点胶机坐标系下坐标,得到导线上的点胶位置。技术领域
本发明属于自动点胶技术领域,用于对片状物体表面粘贴物进行加固,特别涉及一种基于机器视觉与图像测量的自主定位智能点胶系统。
背景技术
在片状基片上粘贴不同规格的片状芯片是现代电子制造领域及精密加工领域的重要工艺之一,主要包含按照设计图纸标注位置在基片上粘贴片状芯片和为进一步加固而进行点胶两个工作。传统方法是由人工量出芯片位置,粘贴芯片,然后手动在基片和导线上点胶,整个过程都是人工手动完成,不仅劳动强度大,工作效率低,而且点胶的质量不能确保,尤其是在大尺寸、大范围工作场合,完成这一工作变得更加艰苦。后来随着点胶机设备的发展,出现自动点胶机,可以通过教导盒向点胶机发出指令,使其按照一定路径,自动完成各种类型的点胶,但是针对不同规格的产品,因无法完成基片的自动定位与定姿,整个过程不能实现自动化和智能化,并且编写点胶指令需要花费大量时间,影响点胶工作的效率。
发明内容
针对现有技术的问题,本发明的目的是提供一种基于机器视觉与图像测量的自主定位智能点胶系统。为实现上述目的,本发明的技术方案提供一种自主定位智能点胶系统,包括相机1、支架2、X轴导轨3、Y轴导轨4、Z轴导轨5、导轨电机控制器6、光学平台7、底座8、机头备板9、胶筒10、点胶头11和计算机12,在底座8的上方安装光学平台7,在光学平台7的长边位置安装X轴导轨3,在短边位置处位于X轴导轨3上方安装Y轴导轨4,在Y轴导轨4上安装Z轴导轨5,三个导轨的方向相互垂直,在Z轴导轨5上固定机头备板9,机头备板9上固定胶筒10和点胶头11;在底座8边上固定着支架2,支架2顶部安装相机1,相机1位置处于光学平台7的正上方,在底座8内部放置导轨电机控制器6,导轨电机控制器6、相机1分别连接计算机12。而且,相机1光轴与光学平台7表面垂直,视场覆盖光学平台7,相机1通过USB数据线穿过支架2内部和底座8内部连接计算机12。而且,计算机12执行基于机器视觉和图像测量的数据处理过程控制点胶操作,包括以下步骤,步骤1,读取设计图形,提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标;所述外轮廓确定待点胶的片状物体的形状,所述内轮廓表示片状物体上芯片的位置;步骤2,确定图像坐标系到相机坐标系的转换关系,计算出相机坐标系到点胶机坐标系的转换关系,从相机获取待点胶的片状物体的图像,对其进行阈值分割,提取出芯片;步骤3,提取出图像中外轮廓上的端点位置,计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量,内轮廓端点为芯片端点,结合设计图形中芯片上端点在设计图形坐标系下的设计坐标,提取出芯片端点的点胶位置;步骤4,在每个芯片边缘位置上,搜索导线的起始点,并以在8领域范围搜索灰度值最低的相邻像素作为导线像素,直到搜索到另一个芯片位置上结束,得到每条导线的图像位置,并提取出每条导线上的点胶位置;步骤5,将点胶位置数据传给导轨电机控制器,控制导轨运行到指定位置完成点胶操作。而且,步骤1中,提取内轮廓上端点和外轮廓上端点在设计图形坐标系下的设计坐标,实现方式包括以下步骤,步骤1.1,导入设计图形的文件,读取直线、圆弧、多段线和圆这4种图元数据,及图形边界的数据;步骤1.2,若有圆或者闭合的多段线处于图形边界上,则该圆或闭合的多段线为外轮廓,转入步骤1.4;否则,外轮廓是由直线、圆弧和多段线组合而成,进入步骤1.3;步骤1.3,从直线、圆弧、和多段线的图元数据中寻找出一条图元处于图形边界上,以该条图元为外轮廓图元,其两个端点为外轮廓端点,在剩余图元中搜索,若某条图元的端点与外轮廓端点重合,则该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点,按此不断搜索,直到得到一个闭合的外轮廓;步骤1.4,在得到外轮廓后,从剩余的图元中提取内轮廓;若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元,则这些圆或闭合的多段线,独自构成内轮廓;去除这些圆或闭合多段线图元后,在剩余的图元中,内轮廓是由多个图元组成,取其中一条图元记为内轮廓图元,端点为内轮廓端点,在剩余图元中搜索,若某条图元的端点与内轮廓端点重合,该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点,以此类推,直到得到一个闭合的内轮廓,按此提取出所有的内轮廓位置。而且,步骤2中,计算出相机坐标系到点胶机坐标系的转换关系实现方式为,拍摄已知点胶位置坐标的胶点的图像,计算出胶点在相机坐标系下的坐标,然后用最小二乘法计算出这些胶点从相机坐标系到点胶机坐标系的平移和旋转变换的矩阵参数。而且,步骤3中,提取出图像中外轮廓上的端点位置,实现方式包括以下步骤,步骤3.11,在设计图形的外轮廓上找到一条与X方向或者Y方向平行的直线图元,在图像的相同方向上搜索到该条边界,然后开一个窗口将该边界包含进来;步骤3.12,对步骤3.11所得窗口内的图像用Canny算子提取边缘,包括用圆形模板在边缘上移动,搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置,得到端点位置;步骤3.13,提取步骤3.12所得两个端点对应设计坐标,任取其中一端点记为P₁,另一端点记为P₂,设P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1),P₂的图像坐标为(x_e2,y_e2),设计坐标为(X_e2,Y_e2),P₁到P₂的连线与x轴在图像坐标系下的夹角为α₁₂",P₁到P₂的连线与X轴在设计图形坐标系下的夹角为β₁₂,片状物体的图像相对于点(x_e1,y_e1)与设计图形位置比较,旋转的角度近似为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="64"/>则 θ ~ = α 12 ′ - β 12 - - - ( 1 ) ]]> α 12 ′ = arctan y e 2 - y e 1 x e 2 - x e 1 - - - ( 2 ) ]]> β 12 = arctan Y e 2 - Y e 1 X e 2 - X e 1 - - - ( 3 ) ]]>步骤3.14,计算出剩余外轮廓端点在图像中的大概位置,记外轮廓其它端点为P_i,i=2,3,...W,W为外轮廓端点的个数,P_i的图像坐标为(x_ei,y_ei),在图像中的大概位置采用近似图像坐标记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="185"/>设计坐标为(X_ei,Y_ei),端点P₁到P_i的设计图形中的距离为L_1i,P₁到P_i的连线与X轴在设计图形坐标系下的夹角为β_1i,则 x ei ~ = t L 1 i cos ( β 1 i + θ ~ ) + x e 1 - - - ( 4 ) ]]> y ei ~ = t L 1 i sin ( β 1 i + θ ~ ) + y e 1 - - - ( 5 ) ]]> L 1 i = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 6 ) ]]>式(4)(5)中,t为图像距离与对应实际距离的比例系数;步骤3.15,在近似图像坐标ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="170"/>附近开个窗口,对窗口内图像用Canny算子提取边缘,在边缘上移动一个半径为R的圆形模板,将该圆形模板与二值化后图像的重叠面积最小的位置定为端点P_i的图像坐标(x_ei,y_ei)。而且,步骤3中,计算出图像中片状物体的位置相对于设计图形位置关于某个外轮廓端点的旋转量,实现方式如下,以端点P₁为基准点,计算出其它每个端点P_i与P₁的连线相对于设计图形中相应连线的旋转量θ_1i,i=2,3,...W,W为外轮廓端点的个数,再计算加权平均值得到最终角度旋转量θ,则 θ = Σ i = 2 W θ 1 i q ( i ) Σ i = 2 W q ( i ) - - - ( 7 ) ]]>θ_1i=α_1i-β_1ixa0xa0xa0(8) q ( i ) = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 9 ) ]]>式(8)中,α_1i为P₁到P_i的连线与x轴在图像坐标系下的夹角,β_1i为P₁到P_i的连线与X轴在设计图形坐标系下的夹角;式(7)(9)中,q(i)为端点的权值,i=2,3,...W,W为外轮廓端点的个数。而且,步骤3中,结合设计图形中芯片端点在设计图形坐标系下的设计坐标的坐标数据,提取出芯片端点的实际位置,实现方式如下,记芯片上的端点为Q_j,j=1,2,...U,U为芯片端点个数,Q_j图像坐标为(x_hj,y_hj),近似图像坐标为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="195"/>设计坐标为(X_hj,Y_hj),P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1),点P₁到Q_j的设计图形坐标系下的距离为D_1j,γ_1j为P₁到芯片上端点Q_j的连线与X轴在设计图形坐标系下的夹角,片状物体摆放实际位置相对于设计图形的旋转量为θ,则 x hj ~ = t D 1 j cos ( γ 1 j + θ ) + x e 1 - - - ( 10 ) ]]> y hj ~ = t D 1 j sin ( γ 1 j + θ ) + y e 1 - - - ( 11 ) ]]> D 1 j = ( X e 1 - X hj ) 2 + ( Y e 1 - Y hj ) 2 - - - ( 12 ) ]]>式(10)(11)中,t为图像距离与对应实际距离的比例系数;在近似图像坐标ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="174"/>附近开个窗口,对窗口内的图像用Canny算子提取边缘,用一个半径为R的圆形模板在边缘上移动,将圆形模板与二值化后图像的重叠面积最小的地方定为端点Q_j的图像坐标(x_hj,y_hj),并将图像坐标(x_hj,y_hj)转换到点胶机坐标系下,得到芯片上端点Q_j的实际点胶位置坐标,记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="206"/>而且,步骤4中,在每个芯片边缘位置上搜索导线的起始点的实现方式为,芯片每条边上的像素灰度值的方差,当高于预设数值K时,则这条边上连接有导线,导线的起始点位置是灰度值最小的像素位置处。而且,步骤4中,在8领域范围搜索灰度值最低的相邻像素作为导线像素,直到搜索到另一个芯片位置上结束,所采取的策略如下,(1)从导线的起始点位置搜索导线像素,导线像素是取待选像素中灰度值最低的像素;(2)待选像素由导线方向确定,若当前导线像素的坐标为(x,y),当导线方向为(Δx,0),则待选像素坐标为(x+Δx,y-1)、(x+Δx,y)和(x+Δx,y+1);当导线方向为(0,Δy),则待选像素坐标为(x-1,y+Δy)、(x,y+Δy)和(x+1,y+Δy);当导线方向为(Δx,Δy),则待选像素坐标为(x+Δx,y+Δy)、(x+Δx,y)和(x,y+Δy);(3)每搜索到下一个导线像素,需要在该像素开一个大小为b×b的窗口,计算窗口内最大灰度与最小灰度之差,当低于预设数值H时,停止搜索,b为预设数值;(4)搜索到芯片边缘位置,停止搜索。而且,步骤4中,得到每条导线的图像位置后,在导线上取导线起点、终点以及等间距位置的点,并转换为点胶机坐标系下坐标,得到导线上的点胶位置。本发明提供的技术方案的有益效果为:(1)将机器视觉和图像测量的方法引入到点胶位置的识别上,提高了点胶工作的智能化程度,减少了人的参与,提高了工作效率;(2)点胶过程比传统方法更快捷,点胶工作幅面大,并且点胶形状更加规范;(3)整个系统结构简单,自动化程度较高,便于推广应用。实验证明,该系统能在片状基片上自动识别点胶位置,并智能完成点胶,其点胶范围为2000mm×1400mm,点胶速度300mm/秒,点胶位置误差小于1mm。
附图说明
图1为本发明实施例的系统结构组成示意图。图2为本发明实施例的数据处理流程图。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图对本发明做进一步的详细说明。本发明的实施例是对一个形状不规则的片状物体进行点胶操作。如图1,自主定位智能点胶系统由相机1、支架2、X轴导轨3、Y轴导轨4、Z轴导轨5、导轨电机控制器6、光学平台7、底座8、机头备板9、胶筒10、点胶头11及计算机12组成。在底座8的上方安装带亮度可调背光源光学平台7,在平台长边位置安装X轴导轨3,在短边位置处位于X轴导轨3上方安装Y轴导轨4,在Y轴导轨4上安装着Z轴导轨5,三个导轨的方向相互垂直,在Z轴导轨5上固定有机头备板9,机头备板9上固定有胶筒10和点胶头11。在基座边上固定着一个单臂梁支架2,支架2顶部安装有相机1,相机1位置处于光学平台7的正上方,在底座8内部放置有导轨电机控制器6,导轨电机控制器6可通过网线与计算机12建立通讯连接,这样计算机12采用基于机器视觉和图像测量的数据处理算法来处理相机拍摄的图像并结合设计图形数据,自动识别点胶位置,向导轨电机控制器6发出指令,控制导轨运行到指定的位置进行点胶操作,并能实现2000mm×1400mm大幅面和位置误差小于1mm的点胶。为便于实时处理图像,相机1连接计算机12。上述相机1光轴与光学平台7表面垂直,视场覆盖光学平台7,相机1可通过穿越支架2内部和底座8内部的USB数据线连接计算机12上。参照图2,计算机12执行基于机器视觉和图像测量的数据处理过程控制点胶操作,对拍摄需点胶的片状物体的图像数据和相应的设计图形数据进行处理,可采用软件技术实现自动运行流程。实施例中流程主要步骤如下:步骤1,读取设计图形文件。设计图形主要包含片状物体的外轮廓和内轮廓,其中外轮廓确定了片状物体的形状,内轮廓表示芯片的位置。这里设计图形坐标系是一个二维直角正交坐标系,内外轮廓的端点通常位于设计图形坐标系正方向下,属于平面坐标。在设计图形文件中,内外轮廓位置数据是由直线、圆弧、多段线和圆4种图元数据组成,因此需要按照图元的位置关系从中分别提取出内外轮廓位置,得到内外轮廓端点的设计坐标,方法如下:步骤1.1,导入设计图形文件,读取直线、圆弧、多段线和圆4种图元数据,以及图形的边界数据即X坐标最大最小值和Y坐标的最大最小值。步骤1.2,若有圆或者闭合的多段线处于图形边界上,则该圆或闭合的多段线为外轮廓,读取轮廓上的端点设计坐标,转入步骤1.4;否则,则说明外轮廓是由直线、圆弧和多段线组合而成,进入步骤1.3。步骤1.3,从直线、圆弧、和多段线数据中寻找出一条图元处于图形边界上,以该条图元为外轮廓图元,其两个端点为外轮廓端点,在剩余图元中搜索,若某条图元的端点与外轮廓端点重合,则说明这条图元与外轮廓图元相连,该条图元的另一个端点和另一个外轮廓端点组成新的外轮廓端点,以此方法不断搜索,直到得到一个闭合的外轮廓。步骤1.4,在得到外轮廓后,从剩余的图元中提取内轮廓。若剩余的图元存在不处于图形边界上的圆或闭合的多段线图元,则这些圆或闭合的多段线,独自构成内轮廓。去除这些圆或闭合多段线图元后,在剩余的图元中,内轮廓是由多个图元组成。先取其中一条图元记为内轮廓图元,端点为内轮廓端点,在剩余图元中搜索,若某条图元的端点与内轮廓端点重合,则说明这条图元与内轮廓图元相连,该条图元的另一个端点和另一个内轮廓端点组成新的内轮廓端点,以此类推,直到得到一个闭合的内轮廓。去除找到的内轮廓的图元,若还存在剩余图元,继续按照上述的方法,提取内轮廓,直到提取所有的内轮廓。步骤2,确保相机已标定过(即确定图像坐标系到相机坐标系的转换关系)以及计算出相机坐标系到点胶机坐标系的转换关系,并获取片状物体图像,对其进行阈值分割,提取出芯片。这里,图像坐标系是与相机拍摄的数字图像有关的二维平面坐标系,图像中像素在图像坐标系下的x坐标和y坐标分别用像素所在的列数和行数表示,记为图像坐标,坐标系原点为图像左上角像素位置,坐标轴正方向为向右行方向和向下列方向;相机坐标系是用来表示图像中像素的实际空间坐标位置的物方坐标系,由于是平面测量,具体定义为二维平面坐标系,坐标系原点为标定图像中左上角标定点的位置,坐标轴正方向分别为标定点矩阵相对于图像中摆放位置的向右行方向和向下列方向;点胶机坐标系是与导轨运行位置相关的三维坐标系,坐标系原点为导轨的起点位置,坐标轴正方向为三个导轨从起点向外运行的方向。在实际测量中,将目标位置从图像坐标系下坐标转换到相机坐标系下坐标,再转换到点胶机坐标系下坐标。首先判断相机是否已标定。若相机已标定,进一步判断相机坐标系到点胶坐标系转化关系是否已计算,是则获取相机拍摄的图像,对图像进行阈值分割;否则计算相机坐标系到点胶机坐标系的转换关系,然后获取相机拍摄的图像,对图像进行阈值分割;若相机未标定,则标定相机,然后进一步判断相机坐标系到点胶坐标系转化关系是否已计算,是则获取相机拍摄的图像,对图像进行阈值分割;否则计算相机坐标系到点胶机坐标系的转换关系,然后获取相机拍摄的原始图像,对图像进行阈值分割。具体实施时,相机标定可采用畸变模型法标定,这种标定方法是通过计算相机的内外参数完成标定,该方法比较成熟和常见,本发明不予不赘述。相机坐标系到点胶坐标系的转换关系的计算,具体实现方法可为:拍摄已知点胶位置坐标的胶点的图像,计算出胶点在相机坐标系下的坐标,然后用最小二乘法计算出这些胶点从相机坐标系到点胶坐标系的平移和旋转变换的矩阵参数,即可确定相机坐标系到点胶坐标系的转换关系。原始片状物体图像中芯片的灰度一般比连接芯片的导线和基片的灰度值低,采用阈值分割可以将基片和大部分导线去除掉,分割阈值N_s可由实验预先确定。步骤3,提取出原始图像的外轮廓上的端点位置,计算出图像中目标(片状物体)的位置相对于设计图形位置关于某个外轮廓端点的旋转量,结合设计图形中芯片上端点的坐标数据,提取出芯片端点的实际位置,即为点胶位置。提取片状物体图像的外轮廓上的端点位置方法如下:步骤3.11,在设计图形的外轮廓上找到一条与设计图形坐标系的X方向或者Y方向平行的直线图元,在图像的相同方向上搜索到该条边界,然后开一个小窗口将该边界包含进来。该窗口可采用矩形。步骤3.12,对窗口内的图像用Canny算子提取边缘,用一个半径为R的小圆形模板在边缘上移动,搜索圆形模板与二值化后图像的重叠面积局部最小的两个位置即为端点位置。具体实施时,本领域技术人员可根据经验预先设定步骤3.11所开窗口尺寸和步骤3.12的圆形模板半径R,窗口大小满足能包含边缘上移动的圆形模板。步骤3.13,将这两个端点与其设计坐标对应起来,任取其中一点记为P₁,另一点记为P₂,若P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1);P₂的图像坐标为(x_e2,y_e2),设计坐标为(X_e2,Y_e2),P₁到P₂的连线与x轴在图像坐标系下的夹角为α₁₂",P₁到P₂的连线与X轴在设计图形坐标系下的夹角为β₁₂,片状物体图像相对于点(x_e1,y_e1)与设计图形位置比较,旋转的角度近似为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="34"/>,则 θ ~ = α 12 ′ - β 12 - - - ( 1 ) ]]> α 12 ′ = arctan y e 2 - y e 1 x e 2 - x e 1 - - - ( 2 ) ]]> β 12 = arctan Y e 2 - Y e 1 X e 2 - X e 1 - - - ( 3 ) ]]>步骤3.14,计算出剩余外轮廓端点在图像中的大概位置,记外轮廓其它端点为P_i(i=2,3,...W,W为外轮廓端点的个数),P_i的图像坐标为(x_ei,y_ei),在图像中的大概位置采用近似图像坐标记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="163"/>,设计坐标为(X_ei,Y_ei),点P₁到P_i的设计图形中的距离为L_1i,P₁到P_i的连线与X轴在设计图形坐标系下的夹角为β_1i,则 x ei ~ = t L 1 i cos ( β 1 i + θ ~ ) + x e 1 - - - ( 4 ) ]]> y ei ~ = t L 1 i sin ( β 1 i + θ ~ ) + y e 1 - - - ( 5 ) ]]> L 1 i = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 6 ) ]]>式(4)(5)中,t为图像距离与对应实际距离的比例系数,由实验学习可预先得到确定。步骤3.15,在点ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="174"/>附近开个小窗,对窗口内图像用Canny算子提取边缘,在边缘上移动一个半径为R的圆形模板,将该圆形模板与二值化后图像的重叠面积最小的位置定为P_i的图像坐标(x_ei,y_ei),即端点P_i在图像坐标系下的位置。步骤3.15和步骤3.12的圆形模板半径大小一致。步骤3.15的窗口可采用矩形,本领域技术人员可根据经验预先设定步骤3.15所开窗口尺寸,无需和步骤3.11一致。片状物体摆放实际位置相对于设计图形的旋转量,是以点P₁为基准点,计算出其它每个端点P_i与P₁的连线的相对于设计图形中连线的旋转量θ_1i,再计算加权平均值得到最终角度旋转量θ,则 θ = Σ i = 2 W θ 1 i q ( i ) Σ i = 2 W q ( i ) - - - ( 7 ) ]]>θ_1i=α_1i-β_1ixa0xa0xa0xa0(8) q ( i ) = ( X e 1 - X ei ) 2 + ( Y e 1 - Y ei ) 2 - - - ( 9 ) ]]>式(8)中,α_1i为P₁到P_i的连线与X轴在图像坐标系下的夹角,β_1i为P₁到P_i的连线与X轴在设计图形坐标系下的夹角。式(7)(9)中,q(i)为端点P_i的权值,可采用端点P_i到P₁的距离表示权值的大小。芯片的端点位置(即内轮廓上端点位置)是通过在计算出芯片上的每个端点的近似位置附近处搜索得到。记芯片上的端点为Q_j(j=1,2,...U,U为芯片端点个数),Q_j图像坐标为(x_hj,y_hj),近似图像坐标为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="187"/>设计坐标为(X_hj,Y_hj),P₁的图像坐标为(x_e1,y_e1),设计坐标为(X_e1,Y_e1),点P₁到Q_j的设计图形坐标系下的距离为D_1j,γ_1j为P₁到芯片上端点Q_j的连线与X轴在设计图形坐标系下的夹角,片状物体摆放实际位置相对于设计图形的旋转量为θ,则 x hj ~ = t D 1 j cos ( γ 1 j + θ ) + x e 1 - - - ( 10 ) ]]> y hj ~ = t D 1 j sin ( γ 1 j + θ ) + y e 1 - - - ( 11 ) ]]> D 1 j = ( X e 1 - X hj ) 2 + ( Y e 1 - Y hj ) 2 - - - ( 12 ) ]]>式(10)(11)中,t为图像距离与对应实际距离的比例系数,同式(4)(5)中的t.在计算出来的点ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="174"/>附近开个小窗,对窗口内的图像用Canny算子提取边缘,用一个半径为R的小圆形模板在边缘上移动,圆形模板与二值化后图像的重叠面积最小的地方即为Q_j的图像坐标(x_hj,y_hj),并将图像坐标转换到点胶机坐标系下,得到芯片上端点的实际点胶位置坐标,记为ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="171"/>。窗口和步骤3.15中窗口形状尺寸可一致,圆形模板半径可和步骤3.12的圆形模板半径大小一致。步骤4,芯片之间通过导线连接,也需要提取导线上的点胶位置。在每个芯片边缘位置上,搜索导线的起始点,并以在8领域范围搜索灰度值最低的相邻像素作为导线像素,直到搜索到另一个芯片位置上结束,由此完成每条导线的图像位置的搜索,并提取出每条导线上的点胶位置。导线起始点的位置通常位于芯片边缘处灰度值最小的位置上,可以计算芯片每条边上的像素灰度值的方差,当高于预设数值K时,则这条边上连接有导线,导线的起始点位置是灰度值最小的像素位置处。数值K经实验学习可预先得到。搜索导线像素所采取的策略如下:(1)从导线的起始点位置搜索导线像素,导线像素是取待选像素中灰度值最低的像素;(2)待选像素由导线方向确定,若当前导线像素的坐标为(x,y),Δx为x坐标的变化方向(Δx=-1,1),Δy为y坐标的变化方向(Δy=-1,1),当导线方向为(Δx,0),则待选像素坐标为(x+Δx,y-1)、(x+Δx,y)和(x+Δx,y+1);当导线方向为(0,Δy),则待选像素坐标为(x-1,y+Δy)、(x,y+Δy)和(x+1,y+Δy);当导线方向为(Δx,Δy),则待选像素坐标为(x+Δx,y+Δy)、(x+Δx,y)和(x,y+Δy);根据灰度值,即可从3个待选像素中选择下一导线像素;(3)每搜索到下一个导线像素,需要在该像素开一个大小为b×b的窗口,计算窗口内最大灰度与最小灰度之差,当低于预设数值H时,停止搜索;数值H和b可经实验学习预先设定。(4)搜索到芯片边缘位置,停止搜索;搜索处一条导线后,导线上胶点一般取导线起点、终点以及等间距位置的点,并将其转换为点胶机坐标系下坐标,即点胶位置数据。步骤5,将点胶位置数据传给导轨电机控制器,控制导轨运行到指定位置完成点胶操作。以下通过实验来验证本发明的有效性:实验:对一片外接尺寸为1400mm×1000mm的具有不规则形状的片状物体进行点胶操作,按照设计图纸的要求,共有27个芯片需要点胶。用相机对其拍摄图像,然后导入设计图纸,按照上述的操作步骤进行相应的数据处理,自动识别出点胶位置,控制导轨运动到指定的位置完成点胶操作。评价指标:对本系统从点胶时间和点胶位置识别错误率识别准确率两个方面进行评价。(1)点胶时间:系统从点胶图像中识别出点胶位置到完成点胶工作所需要花费的时间。(2)点胶位置识别错误率:系统从点胶图像中识别错误的点胶位置数量占识别出的点胶位置总数量的比率。点胶时间可以反映出本系统完成画线和点胶操作的时间效率,而点胶位置识别错误率可以较好的反映出本系统对数据处理方法的有效性。实验结果:根据评价指标,实验数据如下表1所示:表1点胶时间和点胶位置识别错误率统计表点胶时间
识别错误点胶位置数量
识别出的点胶位置总数量
点胶位置识别错误率
23分59秒
4
277
1.44%
从表1实验结果可以看出,点胶时间为23分59秒,而相同工作任务采取人工点胶要花费1个小时左右,可见本发明所提出的方法比人工点胶花费时间少很多,极大提高工作时间效率。另外,点胶位置识别错误率较低,由此可以反映出本发明对数据处理方法的是有效的。综上所述,本发明具有如下的优点:(1)将机器视觉和图像测量的方法引入到点胶位置的识别上,提高了点胶工作的智能化程度,减少了人的参与,提高了工作效率。(2)点胶过程比传统方法更快捷,点胶工作幅面大,并且点胶形状更加规范。(3)整个系统结构简单,自动化程度高,便于推广应用。与传统点胶方法相比,本发明的点胶过程具有很明显的优势,既有较高的智能化程度,又有较高点胶效率和较低的错误率,是一个可行的自主定位智能点胶系统。